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MEMORANDUM TO THE MINISTER 
WEB POSTING — INTERNAL AUDIT OF IMMIGRATION PILOT PROGRAMS 


FOR INFORMATION 


SUMMARY 


e The purpose of this memorandum is to inform you of the web posting of the Internal 
Audit of Immigration Pilot Programs report, which was approved at the Immigration, 
Refugees and Citizenship Canada (IRCC) Departmental Audit Committee (DAC) 
meeting on March 29, 2022. 


The Treasury Board Policy on Internal Audit indicates that deputy heads are 
responsible for ensuring that completed internal audit reports are issued in a timely 
manner and made accessible to the public within 90 working days once approved. 


In order to comply with the Policy on Internal Audit, the Internal Audit and 
Accountability Branch has sought my approval for the web posting of this internal 
audit report on the IRCC website. 


BACKGROUND: 


e The Department has completed the Internal Audit of Immigration Pilot Programs. The audit 
report was approved by the former Deputy Minister at the DAC meeting on March 29, 2022. 
In order to comply with the Treasury Board Policy on Internal Audit, the Department must 
ensure that all completed audit reports are made accessible to the public within 90 working 
days once approved. 


e A copy of the final audit report is attached for your information (see Annex A and Annex B). 


CURRENT STATUS: 


e The audit objective was to determine whether effective controls are in place for the 
development, delivery, and oversight of immigration pilot programs and to identify lessons 
learned and improvements for the development and management of future pilot programs. 


e The audit examined structures, controls, and processes to direct, develop, manage, monitor, 
and assess immigration pilot programs. It also assessed the impact of pilot programs on the 
Department's effectiveness in the overall delivery of its immigration and refugee programs. 
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Finally, the audit examined whether the Department effectively leverages pilot programs as a 
mechanism to meet its policy objectives and departmental priorities. 


The following pilot programs (some of which include more than one stream) were selected 
for detailed examination, including: 


o Start-Up Visa Program (2013-2018) 


o Atlantic Immigration Pilot (2017-2021) 
o Caregiver Pilots: Home Child Care Provider, Home Support Worker (2019-2024) 


The audit found that there were no clearly defined guiding principles for pilot programs to 
better guide development, oversight, management, evaluation and transition of pilot 
programs. 


One recommendation was provided to address this opportunity for improvement. 
Management accepted the recommendation and has developed an action plan to address it. 


CONSULTATIONS: 


The Access to Information (ATIP) and Privacy Division and other internal stakeholders were 
consulted. No privacy or other concerns were expressed as a result of these consultations. 
One sentence in the report was revised to clarify the intended meaning. This revision was not 
substantive, and the IAAB, program management, the ATIP and Privacy Division, and 
Communications concurred with this change. Communications has no other concerns. 


COMMUNICATIONS IMPLICATIONS: 


Traditionally, the internal audit reports do not garner much social or general media attention. 
IRCC's pilot programs have generated a small amount of regional media attention with 
respect to admissibility. The recommendation to include clear guiding principles for 
immigration pilot programs is not expected to generate any media interest as the focus has 
been on issues of relevance, effectiveness and efficiency of IRCC’s pilot programs. 


A responsive approach is recommended for any inquiries. Media calls will be handled on a 
case-by-case basis using existing messaging on the pilot programs. 
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NEXT STEP: 


e The Department will monitor the implementation progress of the management action plan 
and will report the status to the DAC through the semi-annual follow-up process. 


a/DM Campbell Jarvis e-approved July 15, 2022 
Caroline Xavier 
Acting Deputy Minister 


Annexes (2): 
A - Internal Audit of Immigration Pilot Programs (EN) 
B - Internal Audit of Immigration Pilot Programs (FR) 
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1. BACKGROUND 


Introduction 


1. The Immigration and Refugee Protection Act (IRPA) of 2002 contains provisions under 
Section 14.1 that allow the Minister of Immigration, Refugees and Citizenship Canada (IRCC) 
to issue Ministerial Instructions (MIs), establishing a class of permanent residents as part of 
the economic class, in support of the Government of Canada’s economic immigration goals. In 
order to address specific economic needs of various populations, regions, and sectors, MIs 
have been used to create immigration pilot programs that help establish new economic 
immigration classes, and test new and innovative approaches to immigration. 


2. As per Section 14.1, these pilot programs are meant to be temporary in nature, with a five-year 
time limit starting on the day on which the instruction first takes effect, and are meant to allow 
up to 2,750 applications to be processed annually per economic class created. They 
are assessed for their effectiveness and success before a decision is made about whether or 
not the pilot should be transitioned into a permanent program. 


3. Additionally, Section 25.2 of the IRPA provides the Minister of IRCC the authority to establish 
public policies, based on public policy considerations, that can also be used to create a program 
or initiative. 


4. There is no universal definition of pilot programs within IRCC. For the purposes of this audit, 
pilot programs are defined as time-limited programs or initiatives, established through MIs, 
under the authority of Section 14.1 ofthe Act, and are used by the Department to test innovative 
approaches and/or address specific economic needs and/or Government priorities. 


5. The Audit of Immigration Pilot Programs was included in the Department's 2020-2022 Risk- 
Based Audit Plan, which was recommended by the Departmental Audit Committee at the June 
2020 meeting and subsequently approved by the Deputy Minister. 


Operating Environment 


6. The first pilot program, established through MIs, was launched in IRCC in April 2013. As of 
November 2021, the Department has initiated a total of 11 pilot programs established through 
MIs, of which one has been transferred to a permanent program, three are being transferred to 
a permanent program, three have been replaced or re-designed, and four are active pilots. 


7. The design, development, implementation, and evaluation of pilot programs at IRCC is a 
collaborative effort between several branches. Once a pilot program has gone through the 
senior management committee approval process, the Immigration Branch (IB) often plays a 
lead role in the policy design, analysis, and development for the program. The Immigration 
Program Guidance (IPG) Branch supports IB in determining roles and responsibilities related 
to delivery and implementation, including communicating with the various processing 
networks and external partners. 
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8. IPG then plays a lead role in operational product development, including determining data and 
information technology (IT) requirements, developing Program Delivery Instructions (PDIs), 
and website tools. IPG also works with the Communications Branch and IB to develop media 
releases and is responsible for providing overall functional guidance. 


9. Once a pilot program has been launched, relevant networks (e.g. Centralized Network, 
Domestic Network, and International Network) will be involved in application intake and 
processing. IPG will provide regular updates to senior management on pilot program 
performance, supported by reports developed by the Operations Planning and Performance 
Branch (OPPB). 


10. The Integrity Risk Management (IRM) Branch will be involved in providing functional 
direction and strategic support to the Operations Sector for the purpose of enabling consistent 
and coherent integrity risk management on pilot programs. In certain cases, IRM is also 
supported by reports developed by OPPB. This includes analyzing the efficacy of existing risk 
management approaches and controls, and identifying potential gaps and opportunities in pilot 
programs in order to reduce potentially exploitable program vulnerabilities. Operational and 
administrative changes may be made to a pilot program during its life based on feedback 
received from key stakeholders. 


11. Finally, the Research and Evaluation (R&E) Branch may conduct an evaluation of a pilot 
program part way through its implementation phase and based on the annual Departmental 
Evaluation Plan. The purpose of the evaluations is to assess early pilot program outcomes and 
determine if the pilot program is on track to meet its objectives. The findings and 
recommendations of the evaluations support the decision-making process at the end of a pilot 
program's lifecycle when the Department must decide whether to terminate the pilot program 
or mainstream it into a permanent program. 


12. Depending on the needs and objectives of specific pilot programs, other branches within IRCC 
may be involved at various points during a pilot's lifecycle. 


2. AUDIT OBJECTIVE, SCOPE AND METHODOLOGY 


Audit Objective and Scope 


13. The audit objective was to determine whether effective controls are in place for the 
development, delivery, and oversight of immigration pilot programs and to identify lessons 
learned and improvements for the development and management of future pilot programs. 


14. The audit examined structures, controls, and processes to direct, develop, manage, monitor, 
and assess immigration pilot programs. It also assessed the impact of pilot programs on the 
Department's effectiveness in the overall delivery of its immigration and refugee programs. 
Finally, the audit examined if the Department effectively leverages pilot programs as a 
mechanism to meet its policy objectives and departmental priorities. 
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15. The following pilot programs (some of which include more than one stream) were selected for 
detailed examination, including: 
e Start-Up Visa Program (2013-2018) 


e Atlantic Immigration Pilot (2017-2021) 


e Caregivers Pilots (the Home Child Care Provider and Home Support Worker pilots) 
(2019-2024) 


16. The selected pilot programs were chosen based on consultations with implicated IRCC sectors 
(i.e. Operations and Strategic and Program Policy) and the following considerations: MIs pilot 
type (i.e. regional economic pilot program or sectoral economic pilot program); funding type 
(i.e. funded or unfunded); response type (i.e. to test an innovative approach, or to address 
specific needs raised by the Canadian population); and pilot status (1.e. underway, a pilot that 
has been converted to a permanent program, a pilot that was ceased). 


17. The Start-Up Visa (SUV) Pilot was the first pilot program established through MIs that IRCC 
launched in April 2013. The SUV Pilot has since been transitioned into a permanent program. 
The Atlantic Immigration Pilot (AIP) was in the process of being transitioned into a permanent 
program during the audit. The AIP pilot closed on December 31, 2021 along with pilot bilateral 
agreements. However, the MIs for the pilot expire on March 5, 2022 which grants IRCC the 
authority to continue to intake pilot applications until March 5, 2022. IRCC will start accepting 
permanent resident (PR) applications under the AIP as of March 6, 2022. As for the Caregivers 
Pilots, the Caring for Children and Caring for People with High Medical Needs pilots were 
established in 2014. These were replaced with two new caregiver pilots in June 2019 — the 
Home Child Care Provider and Home Support Worker pilots. 


Methodology 


18. The following procedures were performed as part of the audit: 

e Conducted 27 interviews with key personnel to solicit their views on the governance, risk 
management, and monitoring activities in place; program efficiencies; and lessons learned 
for the pilot programs selected for detailed examination. Stakeholders interviewed included 
representatives from IRCC senior management, program managers and program 
employees from 13 various branches, as well as external stakeholders from the Atlantic 
Canada Opportunities Agency and the four Atlantic provinces (NL, NB, NS and PEI); 

e Reviewed key supporting documentation such as presentations to senior management and 
governance committees, Performance Information Profiles (PIPs), evaluations, PDIs, 
internal Standard Operating Procedures (SOPs), among others, to identify and confirm the 
existence of controls for development, management and oversight of the pilot programs; 

e Examined governance, risk management, and monitoring activities in support of pilot 
programs; and 

e Carried out analysis of the information and evidence collected. 


19. The audit included the following criteria to evaluate the extent to which the audit objective 
was met: 
e An effective governance and oversight structure has been established to provide ongoing 
support at a departmental level in development and management of pilot programs; and 
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roles, responsibilities and accountabilities of key players have been defined and 
communicated. 

e Risk management processes have been in place to ensure the identification, mitigation and 
monitoring of risks associated with pilot programs, including: the risk of ineffectiveness in 
delivering immigration and refugee programs (1.e. negative impact on the productivity, lack 
of clarity by clients regarding available pathways, etc.); financial and human resources 
management risks; fraud; and integrity. 

e Processes have been developed and implemented to monitor, assess and report on the 
effectiveness and efficiencies of pilot programs, its compliance with regulatory 
requirements, as well as identify improvements for the management of pilot programs. 


20. The audit did not specifically report on the pilot programs selected for detailed examination, 
but rather used the results of analysis to identify overall trends in the development and 
management of pilot programs. 


21. The audit team did not perform an in-depth testing and analysis of applications received for 
specific pilot programs to determine whether they were compliant with program terms and 
conditions. 


22. This audit was carried out from June 2021 to August 2021. The audit observations, conclusions 
and recommendations are based on the work performed. 


Statement of Conformance 


23. This audit was planned and conducted in conformance with the Institute of Internal Auditors’ 
International Professional Practices Framework, as supported by the results of a quality 
assurance and improvement program. 


3. AUDIT FINDINGS AND RECOMMENDATIONS 


Departmental Pilot Guiding Principles and Program Governance and Oversight 


Definition of Pilot Programs 


24. Overall, pilot programs included time-limited economic immigration classes that were created 
outside of the Department’s regulatory immigration programs, but operated within the 
regulations, and were used to test innovative approaches, and/or address specific economic 
needs raised by the Canadian population and/or Government priorities. However, there was no 
universal definition and/or common understanding of pilot programs within the Department in 
terms of what they are used to achieve and how they are developed. 


25. All MIs, including those through which pilot programs are created, are published in the Canada 
Gazette and are published on IRCC’s website, specifying the pilot program criteria along with 
the launch date. There was no consolidated list internal to the Department that tracked all key 
pilot program-related information or which could have been used for formal tracking, 
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monitoring and reporting on their status, noting 1f they were funded or unfunded, what stage 
they were in, key risks and considerations, and performance results. 


Guiding Principles for the Use of Pilot Programs 


26. Well defined guiding principles for pilot programs help support better design, management 
and evaluation of these programs; support decision-making; ensure pilot programs are being 
leveraged to meet policy objectives and departmental priorities; and enable the Department to 
add value to clients, employees, and partners. 


27. Currently, pilot programs are leveraged to address emergent needs and to test new innovative 
immigration approaches. For example, the AIP was developed to respond to acute 
demographic and labour market challenges in a specific region, including slow economic 
growth, an aging workforce, and difficulty attracting and retaining immigrants, while testing 
an employer-driven approach. The Caregivers Pilots were developed to provide a clearer and 
direct pathway for in-home caregivers to permanent residence, while continuing to provide 
Canadian families with a range of caregiving options. The key feature tested for the Caregiver 
Pilots was the two-step application process to work in Canada and qualify for permanent 
residence. Step 1 is the pre-assessment for permanent residence, in which individuals submit 
applications for permanent residence and work or study permit(s) for themselves and their 
family. Step 2 is the final decision for permanent residence, in which individuals inform IRCC 
when they have accumulated their two years of required work experience and then IRCC makes 
a decision on their permanent residence application. 


28. Overall, pilot programs were viewed as a useful means to explore, test, determine viability, 
and deploy new innovative approaches, processes and concepts to support the Department in 
the achievement of its mandate, policy objectives and priorities. 


29. Some interviewees expressed a concern regarding how pilot programs were being used. It was 
mentioned that pilot programs were occasionally used as a faster mechanism to respond to an 
emerging need or changing government priorities as opposed to using pilot programs for the 
purpose of testing new and innovative immigration approaches. 


30. It was noted that the Department did not have formally defined guiding principles to guide the 
design, management and evaluation of pilot programs and facilitate the decision-making 
around the pilot programs. As such, the Department may not have sufficiently established a 
strong benefits realization management regime within the Department that would contribute to 
improving program delivery and achieving organizational, horizontal and Government of 
Canada objectives and priorities. 


Governance and Oversight 


31. An effective governance and oversight structure is essential to support decision-making at the 
appropriate levels and by the appropriate parties for pilot programs. It was found that existing 
IRCC governance structures, such as the Policy Committee, and the Executive Committee, 
were leveraged as the main mechanisms to provide executive and senior management level 
governance and oversight for individual pilot programs at the design phase. The pilot programs 
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go through relevant senior management committees for approval, which provides an 
appropriate level of rigour. In addition, the approach to pilot programs is confirmed through a 
Memo to the Minister. 


32. From the design phase and throughout the implementation phase of individual pilots, it was 
found that the level of oversight provided by senior management varied for the economic pilot 
programs selected for this audit. For example, in the case of the AIP, monthly dashboards were 
shared with senior management during the implementation, which provided an overview on 
the performance of the pilot. These dashboards included information on the number of 
employers participating in the pilot, the number of approved Permanent Resident (PR) 
applications, and number of admissions to the Atlantic region. Additionally, monthly 
dashboards on integrity risk trends were provided for the AIP. In the case of the Caregivers 
Pilots, presentations were provided to EXCOM, MinDM, the Antifraud Working Group, and 
the Policy Committee at the end of the life cycle of the pilot programs in 2018, to assess the 
next steps, including considerations to transition the pilot into a new permanent program. For 
the SUV, there was a lack of available documentation provided to senior management. 


33. Given how pilot programs are unique in design, objective, and scope, using governance and 
oversight structures in different ways tailored to the needs of the pilots is an approach that is 
often necessary to meet their unique needs. However, while governance and oversight are 
established at the program level, there is an opportunity to strengthen the existing oversight 
structures over the pilot programs by bringing a holistic perspective into the management of 
the portfolio of IRCC pilot programs. This will enable effective implementation of the 
departmental pilot program guiding principles, allow for holistic oversight of the performance 
of pilot programs, promote the coordinated management of pilot programs, reduce common 
risks, and ensure that lessons learned are being applied and that potential process efficiencies 
are being leveraged in the implementation of existing programs or new pilot programs. 


Perceived Overlap Between Core Programs and Pilot Programs 


34. From a policy perspective, pilot programs are distinct, innovative solutions and pathways 
proposed to reach outcomes. However, a concern was raised that in some cases, the 
development of pilots were influenced by external factors (i.e. stakeholders, political 
influences), rather than being put forward by federal and provincial/territorial partners. While 
this could impact the implementation timeframes, the Department worked closely with partners 
to clearly identify the policy objectives and design a pilot which also met the 
federal/provincial/territorial needs. While changes mid-stream can be important for continuous 
improvement, there needs to be a formal approach to manage the changes and expectations to 
ensure they are properly integrated with the intent of the pilot and that their implementation is 
resourced. 


35. From an operational perspective, feedback from program managers, staff and external 
stakeholders noted a perceived overlap between pilot programs and core programs and 
pathways! with regard to eligibility criteria and application requirements that creates market 


'Pathways are immigration streams that provide access to permanent residency and citizenship for certain classes of 


temporary residents. A program could have several various streams under it. 
1 
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confusion among clients. This extends to not only programs within the Department, but also 
with programs delivered at the provincial level. For example, there are approximately 80 
streams across the nine provinces and two territories that are participating in the Provincial 
Nominee Program (PNP). For new applicants, it can be overwhelming to navigate and 
understand the differences between the various programs (both permanent and pilot) and 
pathways. Some individuals who apply under the pilots may have been eligible to apply under 
existing programs. For example, the PNP and the pilot SUV program had some perceived 
overlap. The PNP was designed to enable provinces and territories (PTs) to create streams to 
nominate immigrants who meet local labour market and economic needs and who have an 
intention to reside in their province or territory. The “business streams” established by PTs, to 
target business/entrepreneurs to operate a business and establish in their nominating province 
or territory, vary between jurisdictions, and include a wide range of business types. The SUV 
was intended to attract cutting edge entrepreneurs working in technology and innovation. The 
perceived overlap came by way of PTs having designed streams targeting entrepreneurs in the 
technology sector, which was similar to the objective of the SUV. Ultimately, the SUV 
applicants included some traditional business entrepreneurs that were similar to those that fall 
under the PNP. 


36. Another example of perceived overlap relates to the PNP and AIP programs for which the 
ultimate outcome and target groups of the two programs may seem duplicative, however, the 
approach to achieving this outcome is unique. The AIP and the PNP both aim to attract and 
retain newcomers that will fill local labour market needs in the Atlantic region. The employer- 
driven model, with an enhanced settlement focus, utilized by the AIP was developed in 
response to the low retention rates that were being observed in Atlantic Canada’s PNP. Both 
programs have proven to be crucial to Atlantic Canada’s ability to attract and retain newcomers 
that can support their economy. 


37. The Atlantic provinces have proven very adept at engaging stakeholders and directing them to 
the program that is best positioned to fill their unique needs and, therefore, to reduce market 
confusion and number of applications received. Additionally, AIP employers have access to 
IRCC’s Dedicated Service Channel (DSC) which provides support in navigating the 
immigration system. While the DSC does not direct an employer to a specific program, they 
are able to explain the differences in IRCC’s suite of immigration programs if there is 
confusion. Furthermore, the IRCC Communications Branch uses designated webpages for 
each pilot and program so that the public can be directed to specific pages where they can find 
the right information. The branch also leverages its Come to Canada tool to help potential 
applicants filter through programs as well as its Smart Messaging System to ensure that 
information is concise and that the messaging is going to the intended audience. 


Financial Costs and Impacts of Pilot Programs 
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38. Pilot programs are perceived to have higher upfront operational costs compared to existing 
permanent programs within the Department. Since pilot programs are often developed to 
address emerging needs and are also time-limited, there is a shorter timeframe available for the 
design stage. A significant number of resources are often required to meet shorter deadlines, 
to implement the pilot programs quickly, and to adjust to new developments during the 
implementation stage. Additionally, there is often a requirement for increased coordination 
between all key stakeholders, including external partners such as communities, PTs, and 
businesses, to ensure pilot programs are a success. 


39. Although it is generally understood that pilot programs may require more financial and human 
resources during the design stage, there are several pilot programs that have been developed 
without any additional resources allocated to meet demands. For example, the AIP, Caregivers, 
and Agri-Food Pilots were unfunded, and the Rural and Northern Immigration Pilot was partly 
funded. There was no true costing of pilot programs, and unfunded pilot programs relied on 
existing departmental capacity to deliver on priorities, increasing the strain on staff. 


40. Additionally, there was no analysis of the impact of pilot programs on the ability of the 
Department to effectively deliver their core programs or to develop effective mitigation 
measures to minimize the impact. Training for pilot program-specific operational tasks and 
activities was inconsistent, making it more difficult for employees to effectively manage their 
overall workload and limiting the Department’s ability to identify training efficiencies. It was 
noted that pilot program-specific training is often developed and delivered locally by staff with 
processing experience. While the training may serve its purpose for new operational staff, there 
is not necessarily a quality assurance review of the training program, which can affect the 
relevance and sustainability of that knowledge within the Department. 


41. Without clearly defined guiding principles for managing pilot programs, it may be more 
difficult to develop, manage and evaluate pilot programs as well as make informed, data-driven 
decisions regarding their potential transition into permanent programs for the Department. 
Available financial and human resources may not be prioritized effectively or efficiently and 
there may be a duplication of effort or additional gaps in the implementation of pilot program 
operations. Finally, it may be more difficult to identify emerging issues and obstacles in a 
timely manner or consider lessons learned for new pilot programs or existing permanent 
programs. 


42. Recommendation 1: The Senior Assistant Deputy Minister (ADM), Strategic and Program 
Policy in conjunction with the ADM, Operations should formally define a set of guiding 
principles for pilot programs to help better design, implement and evaluate these programs 
within the Department as well as determine and put in place mechanisms and controls to enable 
the implementation of the departmental pilot program guiding principles. 


Management Response: Management agrees with this recommendation. In response, the 
Immigration Branch will work with the Operations Sector on establishing and integrating 
guiding principles to help manage pilot programs effectively and standardize their 
development and implementation. 
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Accountabilities, Roles, and Responsibilities 


43. Well-defined and documented accountabilities, roles, and responsibilities aligned with the 
Benefits Framework are essential for ensuring that stakeholders fulfill their responsibilities and 
that pilot programs achieve expected outcomes and realize anticipated benefits. 


44. Documented guidelines, processes, and procedures provide an authoritative reference to 
stakeholders and contribute to effective and consistent development, delivery, and monitoring 
of pilot programs as well as support policymaking regarding their mainstreaming. They are 
essential in ensuring that stakeholders have a common understanding of objectives, 
requirements, outputs, and benefits. 


45. Overall, roles and responsibilities of key parties involved in the development, delivery, 
monitoring, and mainstreaming of pilot programs within the Department were generally 
understood. However, it was found that there was limited supporting documentation or formal 
framework outlining pilot program-related accountabilities, roles, and responsibilities. The 
general roles and responsibilities have not been defined holistically for all types of pilot 
programs and all functions (e.g. Benefits Realization). 


46. While IB generally led the development and design phase of pilot programs, the Branch had 
assigned teams for specific pilot programs (1.e. for the AIP, Rural and Northern Immigration 
Pilot, and Economic Mobility Pathways Pilot) to lead pilot program design and implementation 
(including tracking and measuring program outcomes, making program changes, working with 
partners and stakeholders and briefing management). However, there was no dedicated team 
or center of expertise within the Branch to provide formal direction and/or guidance and 
incorporate lessons learned from past successes and challenges to effectively design and 
implement new pilot programs, affecting employee workload. 


47. To enhance the discharge of its roles and responsibilities for the delivery and performance 
monitoring of economic pilot programs, IPG, which has responsibility over these types of 
programs, set up a dedicated Innovation on Economic Pilots and Pathways (IEPP) Unit in 
February 2020, formerly known as the Economic Pilots Task Force. The IEPP is responsible 
for the Agri-Food Pilot, the Rural and Northern Immigration Pilot, the Economic Mobility 
Pathway Project, and the Municipal Nominee Program. 


48. It was found that there were no formal departmental processes, procedures, or frameworks to 
guide the design, and implementation of new pilot programs. Management and personnel relied 
upon the variable access to and understanding from institutional and individual knowledge and 
experience in lieu of formal procedures and processes. In the absence of departmental 
guidance, the [EPP Unit took the initiative to develop a PowerPoint deck, “The Design, 
Delivery and Evaluation of Pilots (Full Cycle)", which describes the typical lifecycle of pilot 
programs. This document noted key steps in the pilot program process and roles and 
responsibilities of key players (i.e. IB, IPG, and R&E). The document was approved internally 
by the DG, IPG in February 2021. The document has yet to be shared with other stakeholders, 
and approved and operationalized at the departmental level. If key steps in the development 
and implementation of pilot programs are not identified and applied, there is the potential for 
increase in the risk of errors or omissions occurring in the process, that lessons learned are not 
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being applied, and that the potential process efficiencies are not being leveraged, ultimately 
impacting the success of the pilot programs, and increasing costs to the Department. 


49. At the pilot program level, compliance procedures and program instructions were provided 
through PDIs and SOPs to those responsible for the operational implementation of the pilot 
programs. Based on interviews, they were clear and well understood and were updated 
regularly. Guidance was also provided to external partners, including PTs for the AIP as well 
as the National Angel Capital Organization and Canada’s Venture Capital and Private Equity 
Association for the SUV, in the discharge of their responsibilities. 


50. There were also clearly documented processes, procedures, and tools available on IRCC’s 
intranet that outlined how to process both permanent and temporary residence applications for 
the pilot programs. This included processes and procedures to assess compliance of 
applications with the programs’ terms and conditions and to ensure program integrity. 


Risk Management 


51. Risk management facilitates decision-making that is informed by an understanding of risks. It 
allows for a proactive response to threats and opportunities alike. Sound risk management is 
about supporting strategic decision-making that contributes to the achievement of an 
organization’s overall objectives. 


52. A formal comprehensive approach to risk management will allow for the identification, 
assessment, and mitigation of pilot program risks in a systematic manner and support decision 
making and resource allocation. A fraud risk management process that includes reporting and 
monitoring on potential fraud risks also helps inform and support control activities needed to 
detect, prevent, and mitigate potential fraud risks specific to pilot programs. 


53. It was found that documented processes and procedures were in place to manage fraud and 
program integrity risk for the programs selected for audit, and were tailored to the specific 
needs of these pilot programs. For example, IB developed a roles and responsibilities document 
with IRCC’s Operations Sector to outline how each branch would be overseeing the integrity 
of the AIP program. Since June 2019, IB has been working with colleagues in the Operations 
Sector to establish key performance indicators (KPIs) related to program integrity and to 
collect data to get better insight into the integrity of the pilot. IB closely monitors program 
integrity cases raised by the provinces and IRCC operational colleagues to assess the extent to 
which the design of the pilot has inadvertently enabled misuse. In collaboration with IPG, IRM 
and the networks, IB's role is to identify potential policy changes to strengthen program 
integrity, as well as apply lessons learned to other immigration programs. 


54. Additionally, IRM was proactive in working with pilot programs in the assessment of fraud 
and integrity-related risks, including the development of a standardized process to support their 
work. For example, they worked closely with AIP in the pilot’s transition to a permanent 
program to ensure measures are put in place for risk mitigation. IRM chairs an Anti-Fraud 
Working Group (AF WG), in which provinces can raise and did raise any program integrity 
issues involving the PNP. The AF WG reports up to the Economic Operations Working Group. 
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It was found that both the AIP and the SUV had documented program integrity 
measures/frameworks in place. 


55. In some cases, instances of suspected or confirmed fraud do not pertain to IRCC clients. Since 
these individuals do not have any associated files in the GCMS system, they cannot be flagged. 
IRM noted that there is, nonetheless, a process in place for filing and disseminating these 
instances of suspected or confirmed fraud, thereby permitting IRCC officers to substantiate the 
claims and to possibly link tips received to produce a more fulsome picture of the 
suspected/confirmed fraud and its prevalence in the immigration process. 


56. There were also communication channels in place (e.g. mailboxes, the DSC, e-submission 
process for the provinces to encourage consistent and detailed submissions, working groups, 
program integrity training, etc.) for both internal and external key stakeholders to raise any 
fraud or program integrity related issues. Overall, these were effective and accessible as 
needed. However, with regards to AIP, provincial representatives noted the need to improve 
the management and monitoring of the general IRCC mailbox as they occasionally do not 
receive responses to their inquiries or they lack sufficient information to adequately support 
decision making. It was noted that while provinces often provide IRCC with trends they are 
observing, such as potential instances of fraud or misrepresentation, there is a lack of a closed 
feedback loop. IRM advised that the e-submissions process, which they recently implemented, 
aims to remedy this issue. This process allows provinces to submit their concerns in a standard 
manner and receive timely feedback. 


57. It should be noted that often times, risks that were found, were not relevant to the abuse/fraud 
that could affect the programs, but rather attributed to operational consideration risks (e.g. 
processing times, bottle necks, etc.). 


58. It was found that there was no overarching guidance or direction to pilot programs on the 
requirements to establish a formal comprehensive risk management framework as part of the 
design or implementation stages of the pilot programs. Pilot programs were not developing 
risk management strategies to identify, assess and mitigate risks associated with programs in a 
systematic manner. Additionally, there was no formal requirement to develop human resource 
or financial plans, including the assessment and mitigation of human resource, financial, and 
operational risks, for pilot programs. Without formal guidance or requirements in place, it can 
be more difficult to accurately assess the operational impacts pilot programs have on IRCC's 
core business. For example, interviewees noted that existing IRCC staff are often tasked to 
support pilot program implementation in addition to their existing responsibilities. 
Additionally, there was concern that unfunded pilot programs were diverting existing resources 
from the Department's core business activities. Interviewees believed this resulted in increased 
employee workload and additional pressures on departmental operations. 


59. Generally, operational implementation representatives felt that they had adequate 
communication channels in place to identify and mitigate risks as well as to have questions 
around processes and procedures addressed. External stakeholders noted some opportunities 
for improvement to ensure ongoing support from IRCC, including providing clearer guidelines 
for de-designation and changes to an individual's employment after endorsement as well as 
simplifying or reducing the amount of reporting required. 
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60. Without a formal comprehensive approach to risk management, informed decision making and 
adequate resource allocation to support pilot program development and implementation would 
become more difficult. 


Monitoring and Reporting 


61. A structured and integrated approach to managing investments relies on a systematic selection, 
prioritization, monitoring, and evaluation process. Aligning monitoring and reporting with the 
requirement of the Departmental Results Framework and the Benefits Framework will ensure 
that programs align with the departmental objectives and support business needs while 
minimizing risk, maximizing anticipated project outcomes, and supporting the realization of 
benefits. 


62. Lessons learned are the documented information that reflects both the positive and negative 
experiences of a program. Documenting and acting on lessons learned will demonstrate the 
Department’s commitment to continuous improvement in management of pilot programs. 


63. It was found that R&E played an integral role in leading the assessment of the performance of 
pilot programs. For pilots included in the annual Departmental Evaluation Plan, the 
departmental evaluation function assessed and reported on the early performance and outcomes 
and efficiencies of individual pilot programs. Evaluation of pilot programs enables the 
Department to support early evidence-based decision-making regarding the pilot program 
direction and potential transition of the pilot into a permanent program. It also provides 
valuable insight and recommendations for strategic program changes based on lessons learned 
through the delivery. 


64. With pilot programs lasting three to five years, there were challenges associated with pilots’ 
short timeframes. Normally, evaluation takes place three years into the pilot implementation 
for five-year pilots. The Department was limited in its ability to fully assess longer-term 
outcomes such as economic establishment and retention, as that information is not fully 
available until later in the pilot lifecycle. As such, certain decisions need to be made (such as 
whether the pilot should be terminated or mainstreamed) before the long-term results of a 
regional economic pilot can be known. 


65. Performance measurement strategies and frameworks, including PIPs, logic models, and data 
collection strategies, were developed for the pilot programs examined. The pilot programs 
relied on OPPB and the Chief Data Officer (CDO) Branch to support both internal and external 
performance reporting. However, it was noted that there was a heavier reliance on program 
evaluations rather than regular monitoring and reporting exercises for the SUV and Caregivers 
Pilots. 


66. Identifying data requirements during the design stage of the pilot is integral to ensuring that 
performance can be effectively measured. It was noted that engagement with CDO was 
inconsistent across the specific pilot programs examined and involved certain challenges. For 
example, CDO was consulted with in the early stages of development of the AIP which allowed 
the Branch to set up the necessary data collection mechanisms and reporting interfaces to 


ensure that relevant performance data was collected to support the measurement of pilot 
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program performance. However, complexities in the program design of the TR to PR category 
of the Caregivers pilots meant that, although CDO was engaged early in the process, there have 
been ongoing reporting challenges. 


67. Overall, it was found that as the Department gained experience with the development and 
management of pilot programs, the ongoing monitoring, assessment and reporting practices 
have improved. It was also found that limited performance mechanisms were in place to assess 
the return on investment of pilot programs or other objectives such as enhanced partnerships 
and collaboration. For example, there was a need to improve data collection and enhance 
performance management for the SUV. The SUV performance measurement strategy was 
updated in response to a recommendation resulting from the Evaluation of the SUV pilot. 
Despite this, there are remaining challenges with the collection of data required to measure the 
success of the SUV, some of which are outside of the program’s area of control. The SUV 
program has indicators that are monitored as part of their federal economic PIPs, which are 
currently under review, however, the SUV has been working with existing indicators and data. 
Additionally, IRCC relies on private sector partners to help deliver the SUV program. IRCC 
communicates with industry associations to receive information on how the program is being 
implemented from their perspective and what they are hearing from the designated entities, but 
the designated entities are not required to report back. In transitioning the SUV pilot to a 
permanent program, the lessons learned from the pilot program indicated that the entire process 
and relationships with the organizations should be mapped. To date, those processes have not 
been mapped out. 


68. Recommendations and lessons learned specific to the AIP and SUV pilot programs were 
developed during the evaluations of these programs. A number of best practices identified for 
the AIP on how to design and implement a pilot program informed future pilots. For example, 
when designing the Rural and Northern Immigration Pilot, early lessons learned from the AIP 
were considered. There was, however, no formal process or tracking of lessons learned from 
all pilot programs in a holistic manner, including lessons learned related to the innovative 
practices of pilot programs or best practices in the effective design and implementation process 
of pilot programs. 


69. In absence of a defined lessons learned process in place, the Department increases the risk of 
running into similar obstacles or missing opportunities to implement good processes and 
practices for new pilot programs and existing permanent programs. 


70. With respect to monitoring and reporting on the compliance with Section 14.1 of the IRPA, 
processes were in place to monitor and report on compliance with regards to the number of 
applications received and approved. All pilot programs selected for audit were in compliance 
with these requirements. Additionally, the pilots were based on the attainment of a defined 
economic goal, the classes of applicants being targeted were economic in nature, and the pilots 
did not or would not exceed a five-year lifespan. 
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4. CONCLUSION 


71. Overall, the audit found that there was no clearly defined guiding principles for pilot programs 
to better guide development, oversight, management, evaluation and transition of pilot 
programs. 


72. Due to the uniqueness of the objectives of each pilot program, pilots were managed 
independently, and existing departmental structures and processes were leveraged to support 
their development, implementation, and transition or termination. Although there were 
adequate fraud and program integrity risk management processes in place, there was no 
overarching guidance to create a formal risk management framework for pilot programs. The 
Department heavily relied upon the evaluation function to assess and report on the early 
performance results of pilot programs to support early decision-making regarding changes to 
a pilot program or the transition to a permanent program. However, there were limitations in 
assessing economic establishment and retention as the respective data is not available until 
years after the pilots have ended. Monitoring and reporting did not include Benefits Realization 
to inform further investment decisions. 


73. As demands on IRCC continue to grow, and there is more potential to use pilot programs, 
clearly defined guiding principles for the management and evaluation of the pilot programs 
will support the holistic management and oversight of the Department's pilot program portfolio 
and the broader achievement of departmental objectives. This will also provide direction and 
guidance for the development, implementation of individual pilot programs with consideration 
of leading practices and lessons learned. 


Management has accepted the audit findings and developed an action plan to address the 
recommendations. 


Audit of Immigration Pilot Programs — Final Report 
000019 


$ Immigration, Refugees Immigration, Réfugiés 
and Citizenship Canada et Citoyenneté Canada 


NON CLASSI KEL UNCLASSIFIED omen 


Audit des programmes pilotes d'immigration 


Direction générale de la vérification interne et de la responsabilisation 
29 mars 2022 


000020 


EE 
. immigration, Refugees Immigration, Réfugiés C (1 
a — y^ ys ol E ie V n p P beds. uu a A T) A a 


XE 
ose 


x 
RAE 


$ Immigration, Refugees 
and Citizenship Canada 


TABLE DES MATIÈRES 
PELO HN OP di ce Em 2 
2. OBJECTIF, PORTÉE ET MÉTHODOLOGIE DE L'AUDIT seen. 3 
3. CONSTATATIONS ET RECOMMANDATIONS DE L'AUDIT ss. 6 
Principes directeurs relatifs aux programmes pilotes et structure de gouvernance et de surveillance des 
Procrammes AU VIBISIO FO raeo ink I eae einen des nee ne Ee EE EAA Di eee con 6 
Obligations redditionnelles, rôles et responsabilités..." VV 10 
CONS) EUS QE RE Re ne ene een ete Fe el ne 12 
Surveilldnce-etetaDiissement de rapporlS Eh nimes ns idR 14 
CONCLUSION ss T E 16 
1 


Audit des programmes pilotes d’immigration — Rapport final 


Immigration, Réfugiés 


et Citoyenneté Canada 


000021 


ct 


NON CLASSIFIEZLUNCLASSIFIED, 


formation 


$ Immigration, Refugees Immigration, Réfugiés 
and Citizenship Canada et Citoyenneté Canada 


NON CLASSI FEL UNCLASSIFIED ome 


1. CONTEXTE 


Introduction 


1. Les dispositions de l’article 14.1 de la Loi sur l'immigration et la protection des 
réfugiés (LIPR) de 2002 permettent au ministre de l'Immigration, des Réfugiés et de la 
Citoyenneté du Canada (IRCC) de donner des instructions ministérielles (IM) établissant des 
catégories de résidents permanents au sein de la catégorie de l'immigration économique, dans 
le but d'aider le gouvernement fédéral à atteindre ses objectifs économiques. Pour répondre 
aux besoins économiques uniques de divers secteurs, régions et populations, des programmes 
pilotes d'immigration sont créés par voie d’instructions ministérielles afin d'établir de 
nouvelles catégories d'immigration économique et de mettre à l'essai de nouvelles approches 
novatrices en matiére d'immigration. 


2. Auxtermes de l'article 14.1, ces programmes pilotes sont temporaires, leur durée ne dépassant 
pas une période maximale de cinq ans à compter de la date d'entrée en vigueur des IM. Ils 
permettent de traiter jusqu'à 2 750 demandes par année, par catégorie créée. La décision de 
convertir un programme pilote en un programme permanent repose sur une évaluation de 
l'efficacité et de la réussite du programme pilote. 


3. En outre, l'article 25.2 de la LIPR autorise le ministre d'IRCC à adopter, pour des raisons 
d'intérét public, des politiques temporaires qui peuvent également mener à la création d'un 
programme ou d'une initiative. 


4. Il n'existe à IRCC aucune définition universelle des programmes pilotes. Aux fins du présent 
audit, les programmes pilotes sont définis comme des programmes ou des initiatives d'une 
durée limitée qui sont établis par voie d'instructions ministérielles en vertu de l'article 14.1 de 
la Loi et dont le Ministére se sert pour mettre des approches novatrices à l'essai, pour répondre 
à des besoins économiques particuliers ou pour aider le gouvernement à réaliser ses priorités. 


5. L'audit des programmes pilotes d'immigration était prévu dans le Plan d'audit axé sur les 
risques 2020-2022 du Ministére, lequel a été proposé par le Comité ministériel d'audit à la 
réunion de juin 2020 et approuvé ultérieurement par la sous-ministre. 


Contexte opérationnel 


6. C’est en avril 2013 qu'IRCC a lancé le premier programme pilote créé par voie d'instructions 
ministérielles. En date de novembre 2021, le Ministére comptait un total de 11 programmes 
pilotes établis par voie d' IM. De ce nombre, un est devenu un programme permanent, trois sont 
en voie de devenir des programmes permanents, trois ont été remplacés ou remaniés et quatre 
sont en cours. 


7. A IRCC, le processus de conception, d'élaboration, de mise en ceuvre et d'évaluation des 
programmes pilotes mobilise plusieurs directions générales. Dans bien des cas, lorsqu'un 
programme pilote franchit le processus d'approbation des comités de la haute direction, la 
Direction générale de l'immigration (DGI) joue un rôle de premier plan dans la conception, 
l'analyse et l'élaboration des politiques relatives au programme. La Direction générale de 
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l'orientation du programme d'immigration (DGOPI) aide la DGI à déterminer les rôles et les 
responsabilités liés à l'exécution et à la mise en ceuvre du programme, notamment en 
communiquant avec les divers partenaires externes et réseaux de traitement. 


8. La DGOPI joue ensuite un róle principal dans l'élaboration d'un produit opérationnel, qui 
consiste notamment à définir les exigences en matière de données et celles liées aux 
technologies de l'information (TI), ainsi qu'à préparer des instructions sur l'exécution des 
programmes (IEP) et des outils pour le site Web. La DGOPI travaille également avec la 
Direction générale des communications et la DGI à la préparation de communiqués de presse, 
et elle est chargée de fournir une orientation fonctionnelle générale. 


9. A la suite du lancement d'un programme pilote, les réseaux appropriés (p. ex. le Réseau 
centralisé, le Réseau national et le Réseau international) participent à la réception et au 
traitement des demandes. La DGOPI fournit à la haute direction des mises à jour réguliéres sur 
le rendement du programme pilote, en se fondant sur les rapports produits par la Direction 
générale de la planification et du rendement des opérations (DGPRO). 


10. La Direction générale de la gestion des risques pour l'intégrité (DGGRI) sera appelée à fournir 
une orientation fonctionnelle et un soutien stratégique au Secteur des opérations afin d'assurer 
une gestion uniforme et cohérente des risques touchant l'intégrité des programmes pilotes. 
Dans certains cas, la DGGRI utilise également les rapports produits par la DGPRO. Elle est 
notamment chargée d'analyser l'efficacité des mesures de contróle et des méthodes de gestion 
du risque existantes, et de mettre au jour d'éventuelles lacunes et occasions présentes dans les 
programmes pilotes en vue de réduire les zones de vulnérabilité des programmes. Des 
changements opérationnels et administratifs peuvent étre apportés à un programme pilote au 
cours de sa durée de vie en fonction des commentaires recus des intervenants clés. 


11. Enfin, la Direction générale de la recherche et de l'évaluation (DGRE) peut effectuer une 
évaluation d'un programme pilote à mi-chemin du processus de mise en ceuvre et selon le plan 
d'évaluation ministériel annuel. Les évaluations servent à mesurer les premiers résultats du 
programme pilote et à déterminer si le programme est en voie d'atteindre ses objectifs. Les 
conclusions et les recommandations des évaluations aident le Ministére à prendre une décision 
à la fin du programme pilote, à savoir s'il y met fin ou s'il en fait un programme permanent. 


12. Selon les besoins et les objectifs de programmes pilotes particuliers, d'autres directions 
générales d'IRCC peuvent avoir un róle à jouer à différents moments du cycle de vie d'un 
programme pilote. 


2. OBJECTIF, PORTÉE ET MÉTHODOLOGIE DE L'AUDIT 


Objectif et portée de l'audit 


13. L'audit visait à déterminer si des mesures de contróle efficaces sont en place aux fins de 
l'élaboration, de l'exécution et de la surveillance des programmes pilotes d'immigration, ainsi 
qu'à déterminer les leçons apprises et les aspects à améliorer aux fins de l'élaboration et de la 
gestion des futurs programmes pilotes. 


Audit des programmes pilotes d'immigration — Rapport final 
000023 


$ Immigration, Refugees Immigration, Réfugiés 
and Citizenship Canada et Citoyenneté Canada 


NON CLASSI FEL UNCLASSIFIED ome 


14. L'équipe d'audit a examiné les structures, les mesures de contrôle et les processus utilisés pour 
orienter, élaborer, gérer, surveiller et évaluer les programmes pilotes d'immigration. Elle a 
également évalué l'incidence des programmes pilotes sur l'efficacité du Ministére dans 
l'exécution de l'ensemble des programmes d'immigration et pour les réfugiés. Enfin, l'équipe 
d'audit a vérifié si le Ministére utilise efficacement les programmes pilotes comme mécanisme 
pour atteindre ses objectifs stratégiques et concrétiser ses priorités ministérielles. 


15. Les programmes pilotes suivants (certains englobent plus d'une catégorie) ont été sélectionnés 
aux fins d'un examen approfondi : 
e le Programme pilote de visa pour démarrage d'entreprise (2013-2018); 


e le Programme pilote d'immigration au Canada atlantique (2017-2021); 
e les programmes pilotes des aides familiaux (Programme pilote des gardiens d'enfants en 
milieu familial et Programme pilote des aides familiaux à domicile) (2019-2024). 


16. Ces programmes pilotes ont été choisis à la suite de consultations tenues avec les secteurs 
concernés d'IRCC (c.-à-d. Opérations et Politiques stratégiques et de programmes) et en tenant 
compte des considérations suivantes : le type de programme pilote établi par voie d'IM (c.-à-d. 
programme pilote régional de nature économique ou programme pilote sectoriel de nature 
économique); le type de financement (c.-à-d. financé ou non financé); le type de réponse 
(c.-à-d. tester une approche novatrice ou répondre à des besoins particuliers de la population 
canadienne); le statut du programme pilote (c.-à-d. en cours, devenu un programme permanent 
ou terminé). 


17. C'est en avril 2013 qu'IRCC lançait le Programme pilote de visa pour démarrage d'entreprise 
(PVDE), premier programme pilote établi par voie d'instructions ministérielles. Le PVDE est 
aujourd'hui un programme permanent. Le Programme pilote d'immigration au Canada 
atlantique (PPICA) était en voie de devenir un programme permanent au moment de l'audit. 
Le PPICA a été fermé le 31 décembre 2021, de méme que les ententes bilatérales connexes. 
Toutefois, comme les IM s'appliquant au programme pilote ont pris fin le 5 mars 2022, IRCC 
a pu continuer de recevoir des demandes jusqu'à cette date. Le Ministére a commencé à 
accepter des demandes de résidence permanente (RP) au titre du Programme d’immigration au 
Canada atlantique (PICA) le 6 mars 2022. Dans la catégorie des programmes pilotes pour les 
aides familiaux, le Programme de la garde d'enfants et le Programme des soins aux personnes 
ayant des besoins médicaux élevés, établis en 2014, ont été remplacés en juin 2019 par 
deux nouveaux programmes pilotes pour les aides familiaux — le Programme pilote des 
gardiens d'enfants en milieu familial et le Programme pilote des aides familiaux à domicile. 


Méthodologie 


18. Les activités suivantes ont été effectuées dans le cadre de l'audit : 

e la conduite de 27 entrevues avec des membres clés du personnel afin de recueillir leurs 
points de vue sur les aspects suivants : les activités de gouvernance, de gestion du risque 
et de surveillance en place, l'efficacité des programmes et les leçons tirées des programmes 
pilotes sélectionnés pour un examen approfondi. Au nombre des participants aux entrevues 
figuraient des représentants de la haute direction d'IRCC, des gestionnaires de programme 
et des employés des programmes provenant de 13 directions générales, ainsi que des 
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intervenants externes de l'Agence de promotion économique du Canada atlantique et des 
quatre provinces de l'Atlantique (T.-N.-L., N.-B., N.-E. et I.-P.-E.); 

e [examen de pièces justificatives clés, notamment des présentations à la haute direction et 
aux comités de gouvernance, des profils d'information sur le rendement (PIR), des 
évaluations, des instructions sur l'exécution des programmes (IEP) et des procédures 
opérationnelles normalisées (PON) internes, entre autres, afin d'établir et de confirmer 
l'existence de mécanismes de contróle aux fins de l'élaboration, de la gestion et de la 
surveillance des programmes pilotes; 

e J'examen des activités de gouvernance, de gestion du risque et de surveillance menées à 
l'appui des programmes pilotes; 

e analyse des données probantes et des renseignements recueillis. 


19. L'équipe d'audit a utilisé les critères suivants pour évaluer la mesure dans laquelle l'objectif 
de l'audit a été atteint : 


e Une structure efficace de gouvernance et de surveillance a été mise en place pour fournir 
un soutien continu à l'échelle du Ministère durant l'élaboration et la gestion des 
programmes pilotes. Les róles, les responsabilités et les obligations redditionnelles des 
acteurs clés ont également été définis et communiqués. 

e Des processus de gestion du risque sont en place afin de déterminer, d'atténuer et de 
surveiller les risques associés aux programmes pilotes, notamment : le risque d'inefficacité 
dans l'exécution des programmes d’immigration et pour les réfugiés (incidence néfaste sur 
la productivité, méconnaissance des voies d’accès existantes par les clients, etc.), les 
risques liés à la gestion des ressources humaines et financiéres, les risques de fraude et les 
risques liés à l'intégrité. 

e Des processus de surveillance, d'évaluation et d'établissement de rapports ont été élaborés 
et mis en place dans le but de déterminer l'efficacité et l'efficience des programmes pilotes 
ainsi que leur conformité aux exigences réglementaires, et de déterminer les améliorations 
requises relativement à leur gestion. 


20. L'équipe d'audit ne fait pas expressément rapport sur les programmes pilotes sélectionnés pour 
un examen approfondi, mais utilise plutót les résultats de son analyse pour dégager des 
tendances générales liées à l'élaboration et à la gestion des programmes pilotes. 


2]. L'équipe d'audit n'a pas effectué un exercice approfondi d'échantillonnage et d'analyse de 
demandes recues par les programmes pilotes visés pour déterminer leur conformité aux 
modalités respectives. 


22.L'audit s'est déroulé de juin à août 2021. Les observations, les conclusions et les 
recommandations découlant de l'audit sont fondées sur les travaux effectués. 


Enoncé de conformité 
23. L'audit a été planifié et mené conformément au Cadre international de référence des pratiques 


professionnelles de l'Institut des auditeurs internes, comme en font foi les résultats du 
programme d'assurance et d'amélioration de la qualité. 
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3. CONSTATATIONS ET RECOMMANDATIONS DE L'AUDIT 


Principes directeurs relatifs aux programmes pilotes et structure de gouvernance et de 


surveillance des programmes du Ministére 


24. 


25. 


26. 


Zh. 


Définition des programmes pilotes 


De facon générale, les programmes pilotes ont une durée temporaire et ciblent des catégories 
d'immigration économique qui ont été créées en dehors des programmes d'immigration 
réglementaires du Ministére, mais qui sont exploitées en conformité avec les réglements. On 
utilise ces programmes pilotes pour mettre des approches novatrices à l'essai, pour combler 
des besoins économiques particuliers de la population canadienne ou pour aider à réaliser les 
priorités du gouvernement. Toutefois, le Ministére n'a aucun cadre universel ou commun qui 
définit la raison d’être des programmes pilotes et la façon dont ils sont créés. 


Toutes les instructions ministérielles, y compris celles autorisant la création de programmes 
pilotes, sont publiées dans la Gazette du Canada et affichées sur le site Web d'IRCC. Elles 
précisent notamment les critéres d'admissibilité et la date de lancement du programme pilote. 
Le Ministére ne tient aucune liste générale interne pour centraliser les renseignements 
essentiels relatifs aux programmes pilotes, ou qui faciliterait les activités de suivi, de 
surveillance et d'établissement de rapports en précisant s'il s'agit de programmes financés ou 
non, leur stade d'avancement, les principaux risques et éléments à considérer, et les résultats 
sur le rendement. 


Principes directeurs régissant l'utilisation des programmes pilotes 


Des principes directeurs bien définis augmentent la qualité du processus de conception, de 
gestion et d'évaluation des programmes pilotes, appuient la prise de décision, garantissent que 
les programmes pilotes sont mis à profit pour aider à réaliser les priorités ministérielles et à 
atteindre les objectifs stratégiques, et permettent au Ministère d'offrir une valeur ajoutée aux 
clients, aux employés et aux partenaires. 


On utilise actuellement les programmes pilotes pour répondre à de nouveaux besoins et pour 
mettre à l'essai de nouvelles approches novatrices en matiére d'immigration. Le PPICA, par 
exemple, a été créé pour aider une région particuliére à relever d'importants défis 
démographiques et liés au marché du travail, notamment une faible croissance économique, le 
vieillissement de la main-d'ceuvre et une difficulté à attirer et à garder des immigrants, tout en 
mettant à l'essai une approche axée sur les employeurs. Les programmes pilotes des aides 
familiaux visent à offrir aux aides familiaux à domicile une voie d'accés à la résidence 
permanente plus claire et directe, tout en continuant à offrir aux familles canadiennes un 
éventail d'options en matière de services d'aide à domicile. L’élément clé mis à l'essai dans le 
cadre de ces programmes pilotes était le processus de demande en deux étapes pour travailler 
au Canada et obtenir la résidence permanente. A la premiére étape, qui consiste à établir 
l'admissibilité à la résidence permanente, le client présente des demandes de résidence 
permanente et de permis de travail ou d'études pour lui-méme et les membres de sa famille. À 
la deuxiéme étape, le client avise IRCC lorsqu'il a accumulé les deux années d'expérience de 
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travail requises, puis IRCC rend une décision définitive sur la demande de résidence 
permanente. 


28. De façon générale, les programmes pilotes représentent un moyen utile d’examiner des 
concepts, des approches et des processus nouveaux et novateurs, de les mettre à l'essai, d'en 
déterminer la viabilité et de les mettre en œuvre pour aider le Ministère à réaliser son mandat 
et ses priorités et à atteindre ses objectifs stratégiques. 


29. Quelques-uns des participants aux entrevues ont exprimé des préoccupations par rapport à la 
facon dont les programmes pilotes sont utilisés. On mentionne que ces programmes sont 
parfois utilisés pour répondre plus rapidement à un nouveau besoin ou à une exigence de 
l'évolution des priorités du gouvernement plutót que pour mettre à l'essai de nouvelles 
approches novatrices en matiére d'immigration. 


30. On a fait remarquer que le Ministére n'a pas établi de principes directeurs officiels pour guider 
la conception, la gestion et l'évaluation des programmes pilotes et pour appuyer la prise de 
décision en rapport avec ces programmes. À cet égard, le Ministére n'a peut-étre pas mis en 
place un cadre de gestion assez solide pour la réalisation des avantages qui contribuerait à 
améliorer l'exécution des programmes et l'aiderait à réaliser les priorités et à atteindre les 
objectifs organisationnels, horizontaux et fédéraux. 


Gouvernance et surveillance 


31. Une structure efficace de gouvernance et de surveillance appuie la prise de décision aux 
niveaux appropriés et par les parties concernées. Il est observé que les structures de 
gouvernance actuelles d'IRCC, notamment le Comité des politiques et le Comité exécutif, sont 
les principaux mécanismes utilisés pour s'assurer que les programmes pilotes font l'objet d'une 
gouvernance et d'une surveillance par des cadres supérieurs et de direction à l'étape de la 
conception. Les programmes pilotes sont approuvés par les comités pertinents de la haute 
direction, ce qui assure un degré de rigueur approprié. En outre, l'approche utilisée à l'égard 
des programmes pilotes est confirmée au ministre par voie de note de service. 


32. L'équipe d'audit a constaté que le degré de surveillance fourni par la haute direction durant la 
conception et tout au long de la mise en ceuvre varie entre les programmes pilotes 
d'immigration économique visés par l’audit. Par exemple, pendant la mise en œuvre du 
PPICA, la haute direction a reçu des tableaux de bord mensuels lui donnant un aperçu du 
rendement du programme. Ces tableaux de bord comprenaient des renseignements sur le 
nombre d'employeurs participant au programme pilote, le nombre de demandes de résidence 
permanente (RP) approuvées et le nombre d'admissions dans la région de l'Atlantique. Des 
tableaux de bord mensuels sur les tendances en matiére de risques liés à l'intégrité ont 
également été produits pour le PPICA. Dans le cas des programmes pilotes des aides familiaux, 
des présentations ont été faites au COMEX, au comité du ministre — sous-ministre, au Groupe 
de travail de la lutte contre la fraude et au Comité des politiques à la fin du cycle de vie des 
programmes pilotes en 2018. Ces présentations ont servi à évaluer les prochaines étapes, 
y compris les éléments à prendre en considération pour transformer les programmes pilotes en 
nouveaux programmes permanents. Pour le PVDE, il n'a pas été possible d'obtenir toute la 
documentation présentée à la haute direction. 
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33. Comme chaque programme pilote a un modèle, un objectif et une portée qui lui sont propres, 
il est souvent nécessaire d’adapter les structures de gouvernance et de surveillance en fonction 
des besoins uniques que les programmes pilotes visent à combler. Bien que les fonctions de 
gouvernance et de surveillance soient établies au niveau du programme, il pourrait néanmoins 
étre possible de renforcer les structures de surveillance existantes en intégrant une vision 
globale dans la gestion de l'ensemble des programmes pilotes d'IRCC. Cela favoriserait une 
application efficace des principes directeurs relatifs aux programmes pilotes du Ministére, en 
plus de permettre une gestion coordonnée et une surveillance globale du rendement de ces 
programmes et de réduire les risques communs. Cette approche permettrait aussi de tenir 
compte des leçons apprises et de tirer profit des gains d'efficience potentiels en matière de 
processus dans le cadre des programmes existants ou des nouveaux programmes pilotes. 


Chevauchement percu entre les programmes principaux et les programmes pilotes 


34. D'un point de vue stratégique, les programmes pilotes sont des voies d'accés et des solutions 
novatrices distinctes qui sont proposées pour obtenir un résultat donné. Une préoccupation a 
toutefois été exprimée par rapport au fait que, dans certains cas, l'élaboration des projets pilotes 
était influencée par des facteurs externes (c.-à-d. des intervenants, des influences politiques), 
plutót que d'étre proposée par les partenaires fédéraux et provinciaux/territoriaux, a été une 
préoccupation soulevée. Bien que cela puisse avoir une incidence sur les délais de mise en 
ceuvre, le Ministére a travaillé en étroite collaboration avec les partenaires pour déterminer 
clairement les objectifs stratégiques et concevoir un projet pilote qui répond également aux 
besoins fédéraux, provinciaux et territoriaux. Des modifications à mi-parcours peuvent se 
révéler nécessaires dans une perspective d'amélioration continue, mais 1l doit y avoir en place 
un processus de gestion officiel pour s'assurer que les changements et les attentes 
s harmonisent adéquatement avec la raison d’être du programme pilote et que l’on dispose des 
ressources nécessaires pour leur mise en ceuvre. 


35. D'un point de vue opérationnel, les commentaires recus des gestionnaires de programme, du 
personnel et des intervenants externes indiquent un chevauchement possible entre les 
programmes pilotes, d'une part, et les programmes principaux et les voies d’accès!, d'autre 
part, par rapport aux critéres d'admissibilité et aux exigences relatives aux demandes, ce qui 
crée de la confusion chez les clients. Ce constat vise non seulement les programmes exécutés 
par le Ministère, mais également ceux administrés par les provinces et territoires. Par exemple, 
on recense environ 80 volets dans les neuf provinces et les deux territoires qui participent au 
Programme des candidats des provinces (PCP). Un nouveau demandeur peut donc avoir de la 
difficulté à s'orienter et à comprendre les différences entre les divers programmes (permanents 
et pilotes) et les voies d’accès. Des personnes qui présentent une demande dans le cadre des 
programmes pilotes auraient peut-étre été admissibles au titre des programmes existants. On 
remarque par exemple un certain chevauchement entre le PCP et le PVDE. Le PCP a été conçu 
afin que les provinces et les territoires puissent créer des volets leur permettant de désigner des 
immigrants qui peuvent contribuer au marché du travail et à l'économie de la région et qui ont 
l'intention de s'établir dans ces provinces et territoires. Les « volets des gens d'affaires » 
établis par les provinces et les territoires pour inciter des entrepreneurs à s' établir et à exploiter 


'Les voies d'accés sont des volets d' immigration qui facilitent l'accés à la résidence permanente et à la citoyenneté 
pour certaines catégories de résidents temporaires. Un programme peut chapeauter plusieurs volets. 
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une entreprise varient entre les administrations et ciblent une vaste gamme d’entreprises. Le 
PVDE ciblait pour sa part des entrepreneurs innovateurs des domaines des technologies et de 
l'innovation. Le chevauchement perçu provient du fait que les provinces et les territoires ont 
mis en place des volets qui ciblent les entrepreneurs du secteur des technologies, un objectif 
similaire à celui du PVDE. Et parmi les demandeurs du PVDE figuraient des gens d'affaires 
traditionnels qui étaient similaires à ceux visés par le PCP. 


36. Un autre exemple de chevauchement perçu concerne le PCP et le PPICA, qui peuvent sembler 
viser un résultat final et des groupes cibles similaires, mais qui ont chacun une approche unique 
pour atteindre ce résultat. Le PPICA et le PCP visent tous deux à attirer et à garder de nouveaux 
arrivants pour combler les besoins en main-d'ceuvre dans la région de |’ Atlantique. Le modele 
du PPICA, qui met l'accent sur les employeurs et sur un soutien amélioré à l'établissement, a 
été élaboré en réponse aux faibles taux de rétention enregistrés par le PCP au Canada 
atlantique. Les deux programmes se révélent essentiels pour aider les provinces atlantiques à 
attirer et à garder de nouveaux arrivants qui peuvent contribuer à leur économie. 


37. Les provinces atlantiques se révelent trés habiles à mobiliser des intervenants et à les orienter 
vers le programme le plus apte à combler leurs besoins uniques, ce qui contribue à réduire la 
confusion sur le marché et le nombre de demandes recues. En outre, les employeurs qui 
participent au PPICA ont accés au mode de service réservé (MSR) d'IRCC, lequel offre un 
soutien pour s'orienter dans le systéme d'immigration. Bien que le MSR ne dirige pas les 
employeurs vers des programmes particuliers, il peut expliquer les particularités des divers 
programmes d'immigration d'IRCC en cas de confusion. De plus, la Direction générale des 
communications d'IRCC créée des pages Web distinctes pour chaque programme, pilote et 
principal, afin que le public soit dirigé vers l'information appropriée. La DGC se sert également 
de son outil « Venir au Canada » pour aider les demandeurs éventuels à choisir un programme 
et de son systéme de messagerie intelligent pour s'assurer que l'information est concise et que 
les messages parviennent aux groupes ciblés. 


Coûts financiers et retombées des programmes pilotes 


38. Les programmes pilotes semblent avoir des coûts opérationnels initiaux supérieurs à ceux des 
programmes permanents du Ministére. Comme les programmes pilotes sont souvent élaborés 
pour répondre à de nouveaux besoins et ont une durée temporaire, le temps alloué à la 
conception est plus court. Un niveau élevé de ressources est souvent nécessaire pour respecter 
les délais plus courts, exécuter les programmes pilotes rapidement et les adapter pendant la 
mise en œuvre. Par ailleurs, ces programmes exigent souvent une plus grande coordination 
entre tous les intervenants clés, y compris avec des partenaires externes tels que les 
collectivités, les provinces et territoires et les entreprises, pour garantir leur réussite. 


39. Bien qu'on s'attende généralement à ce que les programmes pilotes exigent plus de ressources 
humaines et financiéres à l'étape de la conception, plusieurs programmes pilotes ont été 
élaborés sans qu'il soit nécessaire d'allouer des ressources supplémentaires. Par exemple, le 
PPICA, les programmes pilotes des aides familiaux et le Programme pilote sur 
l'agroalimentaire n'ont pas été financés, tandis que le Programme pilote d'immigration dans 
les communautés rurales et du Nord a été financé en partie. Aucun exercice d'établissement 


des coüts n'a été effectué, et l'exécution des programmes pilotes non financés repose sur la 
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capacité ministérielle existante, augmentant la pression exercée sur le personnel pour la 
concrétisation des priorités. 


40. En outre, l'incidence des programmes pilotes sur la capacité du Ministère d'exécuter 
efficacement ses programmes principaux ou de prendre des mesures efficaces pour atténuer 
les répercussions n'a fait l'objet d'aucune analyse. La formation portant sur les activités et 
táches opérationnelles propres à chaque programme pilote était de qualité variable, ce qui a eu 
pour effet de diminuer la capacité des employés de gérer efficacement leur charge de travail 
globale en plus de limiter la capacité du Ministére de mesurer l'efficacité de la formation. On 
a souligné que la formation propre à un programme pilote est souvent élaborée et offerte à 
l'interne par des employés ayant une expérience dans le traitement des demandes. Bien que la 
formation puisse atteindre son objectif pour le nouveau personnel opérationnel, le programme 
de formation ne fait pas systématiquement l'objet d'un examen d'assurance de la qualité, ce 
qui peut avoir une incidence sur la pertinence et la durabilité de ce savoir au sein du Ministere. 


41. En l'absence de principes directeurs clairement définis pour la gestion des programmes pilotes, 
il peut étre plus difficile d'élaborer, de gérer et d'évaluer ces programmes et de prendre des 
décisions éclairées s'appuyant sur des données probantes quant à leur intégration éventuelle 
dans l'ensemble des programmes permanents du Ministére. Les ressources humaines et 
financiéres disponibles ne sont peut-étre pas affectées d'une maniére efficace ou efficiente en 
fonction des priorités, et il pourrait y avoir un dédoublement d’efforts ou d'autres lacunes dans 
la conduite des activités liées aux programmes pilotes. Enfin, il peut étre plus difficile de 
déceler rapidement de nouveaux enjeux et obstacles ou de s'assurer que les leçons apprises 
sont prises en compte dans l'élaboration de nouveaux programmes pilotes ou l'exécution des 
programmes permanents existants. 


42. Recommandation 1: Le sous-ministre adjoint principal (SMA), Secteur des politiques 
stratégiques et de programmes, et le SMA, Secteur des opérations, devraient définir 
conjointement un ensemble de principes directeurs officiels pour améliorer la façon dont les 
programmes pilotes sont conçus, mis en œuvre et évalués au sein du Ministère, ainsi que 
déterminer et mettre en place des mécanismes et des mesures de contróle pour appuyer 
l'application des principes directeurs relatifs aux programmes pilotes du Ministére. 


Réponse de la direction : La direction accepte cette recommandation. En réponse, la Direction 
générale de l'immigration travaillera avec le Secteur des opérations à l'établissement et à 
l'intégration de principes directeurs pour favoriser une gestion efficace des programmes pilotes 
et uniformiser le processus d'élaboration et de mise en ceuvre. 


Obligations redditionnelles, róles et responsabilités 


43. Un document définissant clairement les obligations redditionnelles, les rôles et les 
responsabilités en lien avec le cadre de réalisation des avantages est essentiel pour aider les 
intervenants à s'acquitter de leurs responsabilités, et s'assurer que les programmes pilotes 
obtiennent les résultats escomptés et les avantages anticipés. 


44. Des lignes directrices, des processus et des procédures établis constituent une source 
d'information faisant autorité pour les intervenants et aident a ce que l'élaboration, l'exécution 


et la surveillance des programmes pilotes soient efficaces et uniformes, en plus d'appuyer la 
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décision d'intégrer ou non un programme pilote à l'ensemble des programmes permanents. 
Ces éléments sont essentiels pour garantir que les intervenants ont une compréhension 
commune des objectifs, des exigences, des produits et des avantages. 


De facon générale, les róles et les responsabilités des principaux intéressés participant à 
l'élaboration, à l'exécution, à la surveillance et à l'intégration des programmes pilotes au sein 
du Ministére sont bien compris. On a toutefois constaté des lacunes en fait de documents 
justificatifs ou de cadre officiel décrivant les obligations redditionnelles, les róles et les 
responsabilités liés aux programmes pilotes. Il n'existe aucun énoncé général des róles et des 
responsabilités communs à tous les types de programmes pilotes et à toutes les fonctions (p. ex. 
la réalisation des avantages). 


Bien que la DGI dirige généralement la conception et l'élaboration des programmes pilotes, 
elle a désigné des équipes pour s'occuper de la conception et de la mise ceuvre de certains 
(notamment le PPICA, le PPICRN et le Projet pilote sur la voie d'accés à la mobilité 
économique). Ces équipes étaient également responsables du suivi et de la mesure des résultats, 
des modifications au programme, de la collaboration avec les partenaires et les intervenants, 
et des comptes rendus à la direction). Cependant, la direction générale n'avait pas d'équipe 
désignée ou de centre d'expertise pour fournir une orientation ou des directives officielles et 
intégrer les lecons tirées des réussites et défis antérieurs à la conception et à la mise en oeuvre 
de nouveaux programmes pilotes, ce qui a eu une incidence sur la charge de travail du 
personnel. 


En février 2020, la DGOPI, qui est responsable des programmes d'immigration économique, 
a créé l'Unité de l'innovation des pilotes et des voies économiques (anciennement le Groupe 
de travail sur les projets pilotes d'immigration économique) pour l’appuyer dans l'exercice des 
róles et des responsabilités liés à l'exécution et au suivi du rendement de ces programmes. 
L'unité est responsable du Programme pilote sur l'agroalimentaire, du Programme pilote 
d'immigration dans les communautés rurales et du Nord, du Projet pilote sur la voie d'accés à 
la mobilité économique et du Programme de candidats municipaux. 


L'audit révéle que le Ministére n'avait pas de processus, de procédures ou de cadres 
ministériels officiels pour guider la conception et la mise en oeuvre des nouveaux programmes 
pilotes. A défaut, la direction et le personnel ont dü compter sur un degré variable de 
disponibilité et de compréhension des connaissances et de l'expérience disponibles à l'interne. 
En l'absence de directives ministérielles, l'unité a pris l'initiative de préparer un diaporama 
PowerPoint (The Design, Delivery and Evaluation of Pilots (Full Cycle)) décrivant les étapes 
de conception, d'exécution et d'évaluation qui forment le cycle de vie habituel des programmes 
pilotes. Ce document mentionne les étapes clés du processus lié à un programme pilote ainsi 
que les róles et responsabilités des acteurs clés (soit la DGI, la DGOPI et la DGRE). Le 
document a été approuvé à l' interne par le directeur général, OPI, en février 2021. Il n'a pas 
encore été transmis aux autres intervenants ni approuvé et diffusé à l'échelle du Ministére. 
L'absence d'un processus pour définir et appliquer les étapes clés du processus d'élaboration 
et de mise en ceuvre des programmes pilotes augmente le risque que des erreurs ou des écarts 
soient commis en cours de route, que les leçons apprises ne soient pas prises en compte et 
qu'on ne profite pas des gains d'efficacité potentiels, ce qui a pour effet de limiter la réussite 
des programmes pilotes et d'augmenter les coûts pour le Ministère. 
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49. Au niveau du programme pilote, des procédures de vérification de la conformité et des 
instructions relatives au programme ont été fournies sous forme d'IEP et de PON aux 
personnes responsables de la mise en œuvre opérationnelle. Il ressort des entrevues que ces 
documents étaient clairs, bien compris et mis à jour régulièrement. Des directives ont 
également été fournies aux partenaires externes, notamment aux provinces et territoires pour 
le PPICA, ainsi qu'à la National Angel Capital Organization et à l'Association canadienne du 
capital de risque et d'investissement pour le PVDE, pour les aider à s'acquitter de leurs 
responsabilités. 


50. En outre, on trouve sur le site intranet d'IRCC de la documentation sur les processus, les 
procédures et les outils qui explique clairement comment traiter les demandes de résidence 
permanente et temporaire présentées au titre des programmes pilotes. On y retrouve entre 
autres des processus et des procédures pour évaluer la conformité des demandes aux modalités 
et conditions des programmes et pour assurer l'intégrité des programmes. 


Gestion du risque 


5]. La gestion du risque favorise la prise de décisions éclairées qui tiennent compte des risques. 
Elle permet de réagir de façon proactive à la fois aux menaces et aux possibilités. Une bonne 
gestion du risque sert à appuyer la prise de décisions stratégiques qui contribuent à l'atteinte 
des objectifs généraux d'une organisation. 


52. Une approche officielle détaillée en matière de gestion du risque appuie la détermination, 
l'évaluation et l'atténuation des risques liés aux programmes pilotes d'une maniére 
systématique en plus d'appuyer la prise de décision et l'affectation des ressources. Un 
processus de gestion du risque de fraude, qui comprend un mécanisme de surveillance et de 
signalement des risques de fraude possibles, contribue également à éclairer et à appuyer les 
activités de contróle qui sont nécessaires pour détecter, prévenir et atténuer les éventuels 
risques de fraude propres aux programmes pilotes. 


53. L'équipe d'audit a constaté que des procédures et des processus sont en place pour gérer le 
risque de fraude et les risques liés à l'intégrité des programmes visés par l'audit, et qu'ils sont 
adaptés aux besoins particuliers de ces programmes. Par exemple, la DGI a préparé, en 
collaboration avec le Secteur des opérations d'IRCC, un document sur les róles et les 
responsabilités qui explique la facon dont chaque direction générale participe à la surveillance 
de l'intégrité du PPICA. Depuis juin 2019, la DGI travaille avec des collégues du Secteur des 
opérations à établir des indicateurs de rendement clé (IRC) liés à l'intégrité des programmes 
et à recueillir des données pour avoir une meilleure connaissance de l'intégrité du programme 
pilote. La DGI surveille étroitement les problémes d'intégrité signalés par les provinces et les 
collégues opérationnels d'IRCC afin d'évaluer la mesure dans laquelle la conception du 
programme pilote pourrait involontairement préter à une utilisation appropriée. De concert 
avec la DGOPI, la DGGRI et les réseaux, la DGI recommande des modifications aux politiques 
pour renforcer l'intégrité des programmes, et applique les leçons apprises aux autres 
programmes d'immigration. 


54. En outre, la DGGRI a travaillé de facon proactive avec les programmes pilotes dans le cadre 


de l'évaluation du risque de fraude et des risques liés à l'intégrité, notamment en mettant au 
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point un processus normalisé pour appuyer leur mandat. Par exemple, la DGGRI a collaboré 
étroitement à la conversion du PPICA en un programme permanent pour veiller à la mise en 
place de mesures d’atténuation des risques. La DGGRI préside un Groupe de travail de la lutte 
contre la fraude (GTLCF) au sein duquel les provinces et les territoires peuvent soulever, et 
ont soulevé, des problèmes d'intégrité en lien avec le PCP. Le GTLCF relève du Groupe de 
travail opérationnel sur l'immigration économique. L'équipe d’audit a constaté que des 
mesures et des mécanismes sont en place pour assurer l'intégrité du PPICA et du PVDE. 


55. Certains cas de fraude soupçonnée ou confirmée ne touchaient pas les clients d'IRCC. Comme 
on ne trouve aucun dossier sur les personnes impliquées dans le SMGC, un signalement ne 
peut pas étre fait. La DGGRI a souligné qu'il y a toutefois un processus en place pour consigner 
et communiquer les cas de fraude soupçonnée ou confirmée, ce qui permet aux agents d'IRCC 
de corroborer les allégations et d'y associer possiblement les dénonciations reçues pour 
préparer un rapport plus étoffé sur la fraude soupçonnée ou confirmée et sa prévalence dans le 
processus d’immigration. 


56. Des voies de communication sont également en place (boite aux lettres, MSR, formulaire de 
soumission en ligne pour encourager la transmission de données uniformes et détaillées par les 
provinces, groupes de travail, formation sur l'intégrité des programmes, etc.) pour que les 
principaux intervenants internes et à externes puissent signaler tout probléme de fraude ou 
touchant l'intégrité des programmes. Dans l'ensemble, les voies de communication en place 
sont efficaces et accessibles. Toutefois, en ce qui concerne le PPICA, des représentants 
provinciaux ont souligné le besoin d'améliorer la gestion et la surveillance de la boite aux 
lettres générale d'IRCC puisqu'il leur arrive de ne pas obtenir de réponse à leurs demandes de 
renseignements ou de ne pas avoir tous les renseignements nécessaires pour prendre des 
décisions éclairées. Il a été mentionné que, méme si les provinces communiquent souvent à 
IRCC les tendances qu'elles observent, comme des cas possibles de fraude ou de fausse 
déclaration, il n'y a pas de boucle de rétroaction fermée. La DGGRI a expliqué que le 
formulaire de soumission en ligne récemment mis en place vise à corriger cette lacune. Ce 
processus permet aux provinces de communiquer leurs préoccupations d'une maniére 
normalisée et de recevoir rapidement une rétroaction. 


57. Il convient de préciser que, dans bien des cas, les risques mis au Jour n'étaient pas en lien avec 
une utilisation abusive ou une fraude susceptible de nuire aux programmes; il s'agissait plutót 
de risques de nature opérationnelle (délais de traitement, goulots d'étranglement, etc.). 


58. L'équipe d'audit a constaté qu'aucune directive ou orientation générale n'a été donnée 
concernant l'exigence d'établir un cadre officiel détaillé de gestion du risque à l'étape de la 
conception ou de la mise en ceuvre des programmes pilotes. Des stratégies de gestion du risque 
n'ont pas été mises en place pour déterminer, évaluer et atténuer d'une maniére systématique 
les risques associés aux programmes pilotes. De plus, il n'y avait aucune exigence officielle 
concernant l'élaboration de plans financiers ou de ressources humaines, notamment pour 
évaluer et atténuer les risques opérationnels, financiers et liés aux ressources humaines dans le 
cadre des programmes pilotes. En l'absence de directives ou d'exigences officielles, il peut 
étre plus difficile d'évaluer précisément les répercussions opérationnelles des programmes 
pilotes sur les secteurs d'activité principaux d'IRCC. Par exemple, les participants aux 
entrevues ont mentionné que le personnel existant d'IRCC est souvent appelé à appuyer la 
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mise en ceuvre des programmes pilotes en plus de ses responsabilités courantes. Des 
préoccupations ont d'ailleurs été exprimées par rapport au fait que les ressources existantes 
des secteurs d'activité principaux du Ministére sont réaffectées aux programmes pilotes non 
financés. Les personnes interviewées estiment que cette approche augmente la charge de travail 
des employés et exerce des pressions supplémentaires sur les activités ministérielles. 


De facon générale, les responsables de la mise en ceuvre opérationnelle disent que les voies de 
communication existantes leur permettent de détecter et d'atténuer les risques, et d'obtenir des 
réponses à leurs questions concernant les processus et les procédures. Les intervenants externes 
ont suggéré quelques aspects à améliorer au chapitre du soutien continu offert par IRCC, 
comme fournir des lignes directrices plus claires sur la facon d'annuler une nomination et 
d'apporter des modifications à l'emploi d'une personne aprés la désignation, ainsi que 
simplifier les rapports exigés ou en réduire le nombre. 


sans une approche officielle détaillée en matiére de gestion du risque, il est plus difficile de 
prendre des décisions éclairées et d'affecter les ressources nécessaires pour appuyer 
l'élaboration et la mise en ceuvre des programmes pilotes. 


Surveillance et établissement de rapports 


61. 


62. 


63. 


64. 


Une approche structurée et intégrée en matière de gestion des investissements repose sur un 
mécanisme systématique pour la sélection, l’établissement d’un ordre de priorité, la 
surveillance et l’évaluation. En harmonisant la fonction de surveillance et d’établissement de 
rapports avec les exigences du Cadre ministériel des résultats et du Cadre de réalisation des 
avantages, on s’assure que les programmes concourent aux objectifs ministériels et appuient 
les besoins fonctionnels tout en aidant à réduire le risque au minimum, à tirer un maximum des 
résultats anticipés du projet et à appuyer la réalisation des avantages. 


Les leçons apprises reflètent les expériences tant positives que négatives d’un programme. La 
façon dont le Ministère consigne les leçons apprises et en tient compte témoigne de son 
engagement à améliorer continuellement la gestion des programmes pilotes. 


Il est constaté que la DGRE a joué un rôle central en dirigeant l’évaluation du rendement des 
programmes pilotes. La fonction d’évaluation ministérielle a évalué le rendement préliminaire, 
les résultats et l’efficacité des programmes pilotes nommés dans le plan d’évaluation 
ministériel annuel, et en a fait rapport. Grâce à l’évaluation des programmes pilotes, le 
Ministère dispose rapidement de données probantes pour appuyer la prise de décisions au sujet 
de l’orientation du programme pilote et de sa conversion en programme permanent. Cette 
fonction fournit également de précieuses informations et permet de recommander des 
modifications stratégiques au programme qui s’appuient sur les leçons apprises pendant 
l'exécution du programme pilote. 


Les programmes pilotes durent de trois à cinq ans, et ce court cycle de vie pose des défis. 
Habituellement, un projet pilote de cinq ans fait l'objet d'une évaluation trois ans aprés le 
début de sa mise en ceuvre. La capacité du Ministére d'évaluer pleinement les résultats à long 
terme, notamment l'établissement économique et la rétention, était limitée puisque cette 
information est disponible plus tard dans le cycle de vie du programme pilote. Certaines 


décisions (p. ex. s'il faut terminer le programme pilote ou en faire un programme permanent) 
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doivent donc être prises avant que les résultats à long terme d'un programme pilote régional 
de nature économique puissent étre connus. 


65. Des cadres et des stratégies de mesure du rendement, notamment des PIP, des modèles logiques 
et des stratégies de collecte des données, ont été élaborés pour les programmes pilotes 
examinés. Les programmes pilotes bénéficient du soutien de la DGPRO et de la Direction 
générale du dirigeant principal des données (DGDPD) pour produire des rapports internes et 
externes sur le rendement. Il est toutefois observé qu'en ce qui concerne le PVDE et les 
programmes pilotes des aides familiaux, on recourt abondamment aux évaluations de 
programme au lieu d'effectuer des exercices périodiques de surveillance et d'établissement de 
rapports. 


66. Les besoins en données doivent étre définis à l'étape de la conception du programme pilote 
pour permettre l'obtention d'une mesure efficace du rendement. Des personnes ont mentionné 
que la participation de la DGDPD a été inégale entre les programmes pilotes examinés et que 
certains écueils n'ont pu étre évités. Par exemple, comme la DGDPD a été consultée aux 
premières étapes de l'élaboration du PPICA, elle a pu mettre en place les mécanismes 
nécessaires de collecte et de transmission de données en vue de recueillir des données 
pertinentes pour appuyer la mesure du rendement du programme pilote. Cependant, en raison 
des complexités liées à la conception de la voie d'accés RT à RP dans le cadre des programmes 
pilotes des aides familiaux, des problémes liés à la préparation des rapports persistent bien que 
la DGDPD ait été consultée tót dans le processus. 


67. Dans l'ensemble, il est observé que le Ministére a acquis de l'expérience aux chapitres de 
l'élaboration et de la gestion des programmes pilotes et de la surveillance continue, et que les 
méthodes d'évaluation et d'établissement de rapports se sont améliorées. Il est également 
constaté qu'il y avait peu de mécanismes d'évaluation du rendement en place pour mesurer le 
rendement du capital investi dans les programmes pilotes ou l'atteinte d'autres objectifs tels 
que le renforcement des partenariats et de la collaboration. Par exemple, il a été déterminé que 
les méthodes de collecte des données et de gestion du rendement doivent étre améliorées pour 
le PVDE. La stratégie de mesure du rendement du PVDE a été mise à jour en réponse à une 
recommandation découlant de l'évaluation du PVDE. Des problémes persistent toutefois en ce 
qui a trait à la collecte des données requises pour mesurer la réussite de ce programme, et 
certains de ces problémes échappent à la portée du programme. Le PVDE comprend des 
indicateurs qui font l'objet d'un suivi dans le cadre des PIP relatifs aux programmes 
économiques fédéraux, lesquels sont en cours d'examen, mais le PVDE s'appuie sur les 
données et les indicateurs existants. En outre, IRCC compte sur le soutien de partenaires du 
secteur privé pour assurer l'exécution du PVDE. Le Ministére communique avec des 
associations de l'industrie pour connaitre leur point de vue sur la mise en ceuvre du programme 
et obtenir les commentaires des organismes désignés, mais ces derniers ne sont pas tenus de 
faire rapport. En ce qui concerne la conversion du PVDE en un programme, les leçons tirées 
du programme pilote indiquent que l'ensemble du processus et les relations avec les 
organisations devraient étre décrits, mais à ce Jour, cela n'a pas été fait. 


68. Les recommandations et les leçons apprises propres au PPICA et au PVDE ont été formulées 
pendant les évaluations de ces programmes. Un certain nombre de pratiques exemplaires 
proposées à l'égard du PPICA sur la façon de concevoir et d'exécuter un programme pilote ont 
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été prises en compte dans des programmes pilotes ultérieurs. Par exemple, les premières leçons 
tirées du PPICA ont été prises en considération durant la conception du Programme pilote 
d'immigration dans les communautés rurales et du Nord. Il n'existe cependant aucun processus 
officiel ni suivi des leçons tirées de l'ensemble des programmes pilotes, notamment celles 
ayant trait aux pratiques novatrices des programmes pilotes ou aux pratiques exemplaires 
augmentant l'efficacité du processus de conception et de mise en ceuvre. 


69. En l'absence d'un processus défini pour centraliser les leçons apprises, le Ministère court un 
risque accru de se buter à nouveau à des obstacles similaires ou de perdre des occasions 
d'améliorer les processus et les pratiques des nouveaux programmes pilotes et des programmes 
permanents existants. 


70. En ce qui a trait à la fonction de surveillance et d'établissement de rapports en matiére de 
conformité à l'article 14.1 de la LIPR, des processus appropriés étaient en place par rapport au 
nombre de demandes recues et approuvées. Tous les programmes pilotes visés par l'audit 
étaient conformes à ces exigences. En outre, les programmes pilotes étaient fondés sur 
l'atteinte d'un objectif économique défini, les catégories de demandeurs ciblées étaient de 
nature économique, et les programmes pilotes n'ont pas dépassé ou ne devraient pas dépasser 
une durée de cinq ans. 


4. CONCLUSION 


71. De facon générale, l'équipe d'audit a constaté l'absence de principes directeurs clairement 
définis pour mieux guider l'élaboration, la surveillance, la gestion, l'évaluation et la transition 
des programmes pilotes. 


72. Étant donné qu'ils visent des objectifs qui leur sont propres, les programmes pilotes ont été 
gérés séparément, et les structures et processus ministériels existants ont été mis à profit aux 
fins de leur élaboration, de leur mise en ceuvre et de leur transition ou interruption. Malgré la 
présence de processus adéquats pour gérer le risque de fraude et les risques liés à l'intégrité 
des programmes, l'équipe d'audit n'a trouvé aucune directive générale visant la création d'un 
cadre officiel de gestion du risque pour les programmes pilotes. Le Ministére a beaucoup 
compté sur la fonction d'évaluation pour mesurer et communiquer les premiers résultats sur le 
rendement des programmes pilotes, dans le but d'appuyer une prise de décision rapide au sujet 
des changements à apporter à un programme pilote ou de sa conversion en un programme 
permanent. La capacité d'évaluer l'établissement économique et la rétention était toutefois 
limitée étant donné que les données respectives sont disponibles des années aprés la fin des 
programmes pilotes. La fonction de surveillance et d'établissement de rapports ne s'assortissait 
pas d'un cadre de réalisation des avantages pour éclairer les décisions d'investissement futures. 


73. Puisque IRCC continue de faire face à des exigences croissantes et que la possibilité d'utiliser 
des programmes pilotes augmente, la mise en place de principes directeurs clairement définis 
aux fins de la gestion et de l'évaluation des programmes pilotes appuiera la fonction générale 
de gestion et de surveillance de l'ensemble des programmes pilotes du Ministére, ainsi que 
l'atteinte des objectifs ministériels en général. Les principes directeurs fourniront également 
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une orientation et des directives aux fins de l'élaboration et de la mise en œuvre de programmes 
pilotes distincts en tenant compte des pratiques exemplaires et des leçons apprises. 


La direction a accepté les constatations de l'équipe d'audit et a élaboré un plan d'action 
afin de donner suite aux recommandations. 
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